刚刚,百度开源全新预训练基模,还是主打效率的Flash
刚刚,百度开源全新预训练基模,还是主打效率的Flash百度开源文心 5.5 Flash Base(ERNIE 5.5 Flash Base)权重,该模型总参数280B、每token激活14B,采用稀疏MoE与混合稀疏注意力,微调和推理上下文外扩至1M tokens。
来自主题: AI资讯
8623 点击 2026-11-05 18:02
搜索
百度开源文心 5.5 Flash Base(ERNIE 5.5 Flash Base)权重,该模型总参数280B、每token激活14B,采用稀疏MoE与混合稀疏注意力,微调和推理上下文外扩至1M tokens。